from transformers import BertTokenizer

# 加载分词器
token = BertTokenizer.from_pretrained(r"D:\到有config.json文件所在位置")

# 打印分词器
print(token)

print("<<<<<<<<<<<<<<<<<<<<<<<<<<================================================>>>>>>>>>>>>>>>>>>>>")

# 准备文本
text = ["白日依山尽，","我喜欢pyhton，更喜欢AI,好好学习大模型。"]

# 批量编码文本
out = token.batch_encode_plus(
    batch_text_or_text_pairs=text,
    add_special_tokens=True,
    truncation=True,
    max_length=10,
    # 一律补0到max_length
    padding="max_length",
    # 取值tf(tensor flow), pt(pytorch), np(numpy),默认为list
    return_tensors=None,
    return_token_type_ids=True,
    return_attention_mask=True,
    return_special_tokens_mask=True,
    # 返回序列长度
    return_length=True
)

# 打印编码结果
print(out)

print("<<<<<<<<<<<<<<<<<<<<<<<<<<================================================>>>>>>>>>>>>>>>>>>>>")

# 打印编码结果
for k,v in out.items():
    print(k,":",v)

# 打印解码结果, input_ids就是编码后的值
print(token.decode(out["input_ids"][0]))
print(token.decode(out["input_ids"][1]))

print("<<<<<<<<<<<<<<<<<<<<<<<<<<================================================>>>>>>>>>>>>>>>>>>>>")

# 打印解码结果
print(token.decode(out["input_ids"][0],skip_special_tokens=True))
print(token.decode(out["input_ids